package engine

type ParserFunc func(contents []byte, url string) ParseResult

// 封装url解析信息
type Request struct {
	Url        string       // 地址
	ParserFunc ParserFunc 	// 解析地址，并返回解析结果
}

// 封装URL的解析结果
type ParseResult struct {
	Items    []Item 		// 存储解析数据
	Requests []Request     // 相关联的地址
	// 比如Items中存储抓取的城市列表名称，那么需要获取城市列表下的所有用户，则需要从这个Requests中存储的URL去抓取
}

type Item struct {
	Url     string		// 数据抓取URL地址
	Type	string		// 数据来源
	Id      string		// 数据ID
	Payload interface{}	// 解析后的数据
}

func NilParser([]byte) ParseResult {
	return ParseResult{}
}
